Latent Terms: Dense Retrievers Contain Trivially Extractable BM25-ready Zipfian Vocabularies
潜在词项：密集检索器含有可轻易提取的BM25就绪齐普夫词汇
🧭 密集检索器稀疏词汇抽取与混合检索
Mixedbread AI · National Institute of Informatics · University of Tsukuba
提出Latent Terms，用稀疏自编码器从冻结密集检索器中提取稀疏词汇，直接用于BM25检索，效果匹配或超越原密集模型及SPLADE
📌 工作参考价值（4 点）
- 已有密集检索系统的电商搜索可直接复用：在冻结的双编码器上训练稀疏自编码器，得到BM25兼容的稀疏特征，无需重新训练即可搭建混合检索，提升召回率。
- 该方法无需任何稀疏检索监督或查询扩展目标，适用于商品描述等长文本场景，可利用现有密集模型快速构建倒排索引，降低工程成本。
- 提取出的稀疏词汇呈现齐普夫分布，可解释性强，便于分析模型学到了哪些重要词项，辅助构建更好的 query 理解和同义词表。
- 在 LIMIT 这类单向量检索易失败的任务上，Latent Terms 大幅优于原密集模型，说明其可弥补向量检索的精确匹配短板，适合高精度召回场景。